DeepMind的游戏理论与多代理团队研究多学科学习的几个方面，从计算近似值到游戏理论中的基本概念，再到在富裕的空间环境中模拟社会困境，并在困难的团队协调任务中培训3-D类人动物。我们小组的一个签名目的是使用DeepMind在DeepMind中提供的资源和专业知识，以深入强化学习来探索复杂环境中的多代理系统，并使用这些基准来提高我们的理解。在这里，我们总结了我们团队的最新工作，并提出了一种分类法，我们认为这重点介绍了多代理研究中许多重要的开放挑战。
translated by 谷歌翻译
在许多多机构设置中，参与者可以组建团队以实现可能超过其个人能力的集体成果。衡量代理商的相对贡献并分配促进持续合作的奖励份额是艰巨的任务。合作游戏理论提供了识别分配方案（例如沙普利价值）的解决方案概念，这些概念公平地反映了个人对团队或核心表现的贡献，从而减少了代理人放弃团队的动机。此类方法的应用包括识别有影响力的特征并分享合资企业或团队成立的成本。不幸的是，即使在受限设置中，使用这些解决方案也需要解决计算障碍，因为它们很难计算。在这项工作中，我们展示了如何通过训练神经网络提出公平和稳定的回报分配来将合作游戏理论解决方案蒸馏成学习的模型。我们表明，我们的方法创建的模型可以推广到远离训练分布的游戏，并且可以预测比训练期间观察到的更多玩家的解决方案。我们框架的一个重要应用是可以解释的AI：我们的方法可用于加快在许多情况下的Shapley价值计算。
translated by 谷歌翻译
大图通常出现在社交网络，知识图，推荐系统，生命科学和决策问题中。通过其高级别属性总结大图有助于解决这些设置中的问题。在光谱聚类中，我们旨在确定大多数边缘落在簇内的节点簇，而在簇之间只有很少的边缘。此任务对于许多下游应用和探索性分析很重要。光谱聚类的核心步骤是执行相应图的拉普拉斯矩阵（或等效地，奇异值分解，SVD）的特征分类。迭代奇异值分解方法的收敛取决于给定矩阵的光谱的特征，即连续特征值之间的差异。对于对应于群集图的图形的图形拉普拉斯，特征值将是非负的，但很小（小于$ 1 $）的减慢收敛性。本文引入了一种可行的方法，用于扩张光谱以加速SVD求解器，然后又是光谱群集。这是通过对矩阵操作的多项式近似来实现的，矩阵操作有利地改变矩阵的光谱而不更改其特征向量。实验表明，这种方法显着加速了收敛，我们解释了如何并行化和随机近似于可用的计算。
translated by 谷歌翻译
最近的工作表明，当AI的预测不可靠时，可以学会推迟人类的选择性预测系统的潜在好处，特别是提高医疗保健等高赌注应用中AI系统的可靠性。然而，大多数事先工作假定当他们解决预测任务时，人类行为仍然保持不变，作为人类艾队团队的一部分而不是自己。我们表明，通过执行实验来规定在选择性预测的背景下量化人AI相互作用的实验并非如此。特别是，我们研究将不同类型信息传送给人类的影响，了解AI系统的决定推迟。使用现实世界的保护数据和选择性预测系统，可以在单独工作的人体或AI系统上提高预期准确性，我们表明，这种消息传递对人类判断的准确性产生了重大影响。我们的结果研究了消息传递策略的两个组成部分：1）人类是否被告知AI系统的预测和2）是否被告知选择性预测系统的决定推迟。通过操纵这些消息传递组件，我们表明，通过通知人类推迟的决定，可以显着提高人类的性能，但不透露对AI的预测。因此，我们表明，考虑在设计选择性预测系统时如何传送到人类的决定是至关重要的，并且必须使用循环框架仔细评估人类-AI团队的复合精度。
translated by 谷歌翻译
2020-06-08
深度加强学习（RL）的最新进展导致许多2人零和游戏中的相当大的进展，如去，扑克和星际争霸。这种游戏的纯粹对抗性质允许概念上简单地应用R1方法。然而，现实世界的设置是许多代理商，代理交互是复杂的共同利益和竞争方面的混合物。我们认为外交，一个旨在突出由多种代理交互导致的困境的7人棋盘游戏。它还具有大型组合动作空间和同时移动，这对RL算法具有具有挑战性。我们提出了一个简单但有效的近似最佳响应操作员，旨在处理大型组合动作空间并同时移动。我们还介绍了一系列近似虚构游戏的政策迭代方法。通过这些方法，我们成功地将RL申请到外交：我们认为我们的代理商令人信服地令人信服地表明，游戏理论均衡分析表明新过程产生了一致的改进。
translated by 谷歌翻译
已经提出了多种寻找属于种植的致密子图的顶点的方法，以随机致密的$ G（n，p）$图表，重点是种植的派系。这些方法可以识别多项式时间中的种植的子图，但全部限于几个子图结构。这里，我们呈现Pygon，这是一种基于图的神经网络的算法，这对种植子图的结构不敏感。这是第一个使用高级学习工具来恢复密集子图的算法。我们表明Pygon可以恢复尺寸$ \ theta \ left的派系（\ sqrt {n}右）$，其中$ n $是背景图的大小，与现有技术相当。我们还表明，相同的算法可以在指向和无向图形中恢复左转（\ sqrt {n \右）$的尺寸尺寸的其他种植的子图。我们建议一个猜想，没有多项式时间PAC学习算法可以检测尺寸小于$ o \ lex的种植的密集子图（\ sqrt {n}右）$，即使原则上也可以找到对数尺寸的密集子图。
translated by 谷歌翻译
We propose a novel deep learning architecture for regressing disparity from a rectified pair of stereo images. We leverage knowledge of the problem's geometry to form a cost volume using deep feature representations. We learn to incorporate contextual information using 3-D convolutions over this volume. Disparity values are regressed from the cost volume using a proposed differentiable soft argmin operation, which allows us to train our method end-to-end to sub-pixel accuracy without any additional post-processing or regularization. We evaluate our method on the Scene Flow and KITTI datasets and on KITTI we set a new stateof-the-art benchmark, while being significantly faster than competing approaches.
translated by 谷歌翻译
We show that parametric models trained by a stochastic gradient method (SGM) with few iterations have vanishing generalization error. We prove our results by arguing that SGM is algorithmically stable in the sense of Bousquet and Elisseeff. Our analysis only employs elementary tools from convex and continuous optimization. We derive stability bounds for both convex and non-convex optimization under standard Lipschitz and smoothness assumptions.Applying our results to the convex case, we provide new insights for why multiple epochs of stochastic gradient methods generalize well in practice. In the non-convex case, we give a new interpretation of common practices in neural networks, and formally show that popular techniques for training large deep models are indeed stability-promoting. Our findings conceptually underscore the importance of reducing training time beyond its obvious benefit.
translated by 谷歌翻译